AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces
AutoSaddler：基于执行轨迹的 Agent Harness 自动优化框架
🧭 Agent Harness 自动优化 · 离线学习 ★ 深度解读
POSTECH · KAIST · Southern University of Science and Technology · Microsoft
将 Agent Harness 优化形式化为离线学习，通过深度诊断、结构化 Patch 与泛化感知选择，在三个基准上提升 9-10 个百分点
📌 工作参考价值（4 点）
- 把 agent 的 system prompt、工具描述、中间件逻辑统一视为可优化代码，建立 mini-batch 离线优化流程：用失败轨迹批量诊断并生成 patch，在同一批上验证提升，再上验证集评估，避免只在单条轨迹上打补丁。
- 采纳结构化 patch 分类（Prompt/Tool/Middleware）并分阶段调度：先允许修改工具实现和 agent loop 等能力层，后期转向提示词/hook 文本；这样能迫使优化过程探索高价值能力改动，而不是只做表面 prompt 文本微调。
- 保留 harness 演化图（EvoDAG）作为优化记忆，允许进化代理重组历史成功组件，而非只从最新版本继续；在多轮迭代优化推荐/导购 Agent 的 prompt 与工具配置时，可跳出局部最优。
- 评估 patch 时同时监测 fix rate 与 regression rate，尤其对高频工具或 hook 的修改要防止 over-scoped patch 引入回归；用独立验证集过滤泛化差的更新，能显著减少线上事故。